Camera and lidar are important sensor modalities for robotics in general and self-driving cars in particular. The sensors provide complementary information offering an opportunity for tight sensor-fusion. Surprisingly, lidar-only methods outperform fusion methods on the main benchmark datasets, suggesting a gap in the literature. In this work, we propose PointPainting: a sequential fusion method to fill this gap. PointPainting works by projecting lidar points into the output of an image-only semantic segmentation network and appending the class scores to each point. The appended (painted) point cloud can then be fed to any lidaronly method. Experiments show large improvements on three different state-of-the art methods, Point-RCNN, Vox-elNet and PointPillars on the KITTI and nuScenes datasets. The painted version of PointRCNN represents a new state of the art on the KITTI leaderboard for the bird's-eye view detection task. In ablation, we study how the effects of Painting depends on the quality and format of the semantic segmentation output, and demonstrate how latency can be minimized through pipelining.

Image noise can often be accurately fitted to a Poisson-Gaussian distribution. However, estimating the distribution parameters from a noisy image only is a challenging task. Here, we study the case when paired noisy and noise-free samples are accessible. No method is currently available to exploit the noise-free information, which may help to achieve more accurate estimations. To fill this gap, we derive a novel, cumulant-based, approach for Poisson-Gaussian noise modeling from paired image samples. We show its improved performance over different baselines, with special emphasis on MSE, effect of outliers, image dependence, and bias. We additionally derive the log-likelihood function for further insights and discuss real-world applicability.

尽管近年来取得了显着的进展，但开发了几个局限性的单像超分辨率方法。具体而言，它们在具有某些降解（合成还是真实）的固定内容域中进行了培训。他们所学的先验容易过度适应培训配置。因此，目前尚不清楚对新型领域（例如无人机顶视图数据以及跨海）的概括。尽管如此，将无人机与正确的图像超分辨率配对具有巨大的价值。这将使无人机能够飞行更高的覆盖范围，同时保持高图像质量。为了回答这些问题，并为无人机图像超级分辨率铺平了道路，我们探索了该应用程序，特别关注单像案例。我们提出了一个新颖的无人机图像数据集，其场景在低分辨率和高分辨率下捕获，并在高度范围内捕获。我们的结果表明，现成的最先进的网络见证了这个不同领域的性能下降。我们还表明了简单的微调，并将高度意识纳入网络的体系结构，都可以改善重建性能。

深度图像置位者实现最先进的结果，但具有隐藏的成本。如最近的文献所见，这些深度网络能够过度接受其训练分布，导致将幻觉不准确地添加到输出并概括到不同的数据。为了更好地控制和解释性，我们提出了一种新颖的框架，利用了去噪网络。我们称之为可控的基于席位的图像去噪（CCID）。在此框架中，我们利用深度去噪网络的输出与通过可靠的过滤器卷积的图像一起。这样的过滤器可以是一个简单的卷积核，其不会增加添加幻觉信息。我们建议使用频域方法熔断两个组件，该方法考虑了深网络输出的可靠性。通过我们的框架，用户可以控制频域中两个组件的融合。我们还提供了一个用户友好的地图估算，空间上的置信度可能包含网络幻觉。结果表明，我们的CCID不仅提供了更多的可解释性和控制，而且甚至可以优于深脱离机构的定量性能和可靠的过滤器的定量性能，尤其是当测试数据从训练数据发散时。

经典图像恢复算法使用各种前瞻性，无论是明确的还是明确的。他们的前沿是手工设计的，它们的相应权重是启发式分配的。因此，深度学习方法通​​常会产生优异的图像恢复质量。然而，深度网络是能够诱导强烈且难以预测的幻觉。在学习图像时，网络隐含地学会联合忠于观察到的数据;然后是不可能的原始数据和下游的幻觉数据的分离。这限制了它们在图像恢复中的广泛采用。此外，通常是降解模型过度装备的受害者的幻觉部分。我们提出了一种具有解耦的网络先前的幻觉和数据保真度的方法。我们将我们的框架称为贝叶斯队的生成先前（BigPrior）的集成。我们的方法植根于贝叶斯框架中，并将其紧密连接到经典恢复方法。实际上，它可以被视为大型经典恢复算法的概括。我们使用网络反转来从生成网络中提取图像先前信息。我们表明，在图像着色，染色和去噪，我们的框架始终如一地提高了反演结果。我们的方法虽然部分依赖于生成网络反演的质量，具有竞争性的监督和任务特定的恢复方法。它还提供了一种额外的公制，其阐述了每像素的先前依赖程度相对于数据保真度。

本文介绍了我们的网络物理移动实验室（CPM实验室）。它是网络和自治车辆的开源开发环境，专注于网络决策，轨迹规划和控制。 CPM实验室主持20个物理模型规模车辆（{\ mu}汽车），我们可以通过无限制的模拟车辆无缝扩展。代码和施工计划是公开的，以实现重建CPM实验室。我们的四层架构使得能够在模拟中和实验中无缝使用相同的软件，而无需进一步的适应。基于数据分发服务（DDS）的中间件允许以无缝方式在实验期间调整车辆数量。中间件还负责在逻辑执行时间方法后同步所有实体，以实现实验的确定性和再现性。这种方法使CPM实验室成为网络决策算法快速功能原型的独特平台。 CPM实验室允许研究人员以及来自不同学科的学生，以了解他们发展成为现实的想法。我们使用两个示例实验展示其能力。我们正在通过WebInterface进行远程访问CPM实验室。